데이터 웨어하우스

사용자의 의사결정에 도움을 주기 위해 다양한 시스템에서 데이터를 추출, 변환, 요약하여 능동적으로 사용자한테 제공할 수 있는 데이터베이스의 집합체를 말한다.

1990년대랑 2000년대 초반까지만 해도 기업에서 데이터를 관리하는 것은 데이터베이스를 통한 저장이 일반화되어 있었다. 그러나 데이터베이스 만으로는 기업에 적절한 의사결정을 돕기가 어려웠다. 데이터를 통계치로 요약하려면 복잡한 SQL 프로그래밍 언어를 숙달해야 했고, 또한 SQL 언어 특성 상 잘못하면 데이터를 읽어들인다는게 데이터를 개박살내는 경우가 많기 때문이었다. 또한 데이터베이스는 특정한 형식을 지정한 데이터만 입력이 가능하기에 대부분의 무형식 데이터들이 그대로 잠들어있게 된다. 정작 기업들한테 경제적 가치를 주는 데이터는 무형식 데이터들인데도 불구하고 데이터베이스의 시스템 상 이들을 이용할 방법이 없는 것이었다.

그래서 데이터베이스 대신 데이터 웨어하우스라는 개념이 2001년 처음 등장하였다. 1980년대 IBM에서 DW 개념을 창안하긴 했지만 이것은 데이터베이스를 겹치는 것에 가까웠고 완성된 형태의 DW는 IT버블 붕괴 후에 찾아왔다. 이후 미국 대기업들은 2009년 경까지 빅데이터를 포괄할 수 있는 데이터 웨어하우스로 전환했다. 대한민국에서는 처음으로 삼성전자가 2007년 데이터마트(DataMart)라는 이름으로 데이터 웨어하우스를 구축하고 이후 대기업 위주로 퍼져나가게 된다.

기본적으로 관계형 데이터베이스(RDB)가 있는 상태를 가정하여 DW를 구성한다. DW는 데이터베이스와는 차원이 다른 데이터를 저장하고, 특히 무형식 데이터가 많으므로 DW 프로그램에서 유용한 정보를 뽑아내는 과정이 필요하다. 예를 들어 DB에는 동영상이나 음악파일을 저장할 수 없는데 DW에는 동영상/음악 파일 중 필요한 부분을 추출하여 사용자한테 보여줘야 한다. 이런 빅데이터 가공 프로그램도 DW에는 내장하여 관리하게 된다.